BLOG

Record, summarize, and improve.

AI系统

内容结构:

  1. 背景:为什么 AI 需要系统层面的设计
    • 现代模型越来越大,单机训练/推理能力有限
    • AI 系统不仅是模型算法,还包含数据管道、存储、调度、推理服务和资源管理
  2. AI 系统的核心层次
    • 数据层:采集、清洗、标注、训练样本流水线
    • 训练层:分布式训练、梯度同步、参数管理
    • 推理层:batching、KV cache、吞吐与延迟优化
    • 运行时层:编排、调度、容器化与资源隔离
  3. AIInfra 的关键问题
    • 计算资源利用率
    • 存储带宽瓶颈
    • 多机网络通信开销
    • 低延迟与高吞吐的平衡
  4. 工程思路
    • 模型并行、数据并行、流水线并行
    • 低精度推理
    • 节点调度与异构计算
  5. 总结
    • AI 系统的本质,是把“算法能力”转化为“可落地、可扩展、可维护的工程能力”